某全球知名体育运动品牌技术架构与产品选择的考量

本文来自天善智能社区 www.hellobi.com 杨威利 专栏

原文标题：。本项目背景为全球著名的某体育运动品牌的企业级 BI 应用。点击阅读原文或访问天善智能社区 www.hellobi.com 阅读杨威利专栏中的其它文章。

正文开始：

工欲善其事，必先利其器。为落实ETL和BI设计，JDI Global选择了 Teradata和 Cognos构建企业级的 Data Warehouse和BI应用；在此基础上，JDI Great China又选择了 Microsoft和 Tableau 构建部门级的Data Mart和BI应用。同一应用体系不同产品选择的技术架构体现了传统BI和新型BI两套解决方案的互补与互容。

近几年，以Tableau和QlikView为代表的后起之秀改变了传统巨头SAP、Oracle、IBM三分天下的格局。过往，传统BI采用以空间换时间的策略，在联机分析处理On-Line Analytical Processing（OLAP）系统中建立多维立方体Cube，按照不同维度的多种排列组合预先完成聚合和存储来换取查询速度的提升。而今，随着计算机的运算能力越来越强，存储容量越来越大，硬件成本反倒越来越低，基于内存计算的查询引擎应运而生，使得用户个性化、多样化、无规律、难预测的即席查询成为可能。

但是，基于内存计算犹如一把双刃剑，既是技术的革新也是应用的瓶颈，当装载进内存的数据量超出其负荷时，查询性能将急剧下降。固然，通过升级硬件设备和调整技术架构可以适度地均衡负载，却是以增加资源投入甚至是以牺牲用户体验为代价的。合理可行的解决方案必定须在传统和新型之间谋求平衡，而这种平衡需建立在对主流的BI厂商及其产品充分了解的基础之上。

• 论解决方案的完整性。不论是因循守旧的SAP、Oracle、IBM、Microsoft还是蓄意维新的QlikView都拥有从数据源到用户端的产品链，而Oracle、IBM、Microsoft还有着关系型数据库管理系统Relational Database Management System（RDBMS）即Oracle、DB2、SQL Server，解决方案的完整性相较之下更胜一筹。

• 论解决方案的总成本。QlikView只需购买Desktop单机版就能进行ETL和BI的开发，升级到Server企业版还能进行企业级的部署，同时也只需一个Vendor就可完成项目的交付与管理，解决方案的总成本堪为最低。若购买最新版的Microsoft SQL Server Enterprise Edition即被授予SQL Server引擎和Integration Services（SSIS）、Analysis Services（SSAS）、Reporting Services（SSRS）服务的使用权限，相比SAP、Oracle、IBM价格不菲的BI工具集及组件服务，Microsoft性价比优势明显。

• 论数据处理的能力。Informatica、DataStage、SSIS都有着功能丰富的控件、可视化的控制流与数据流设计界面、完善的元数据和日志管理机制以及开放的应用程序接口Application Program Interface（API），因而均可独当一面地开发ETL系统。由于Oracle Data Integration（ODI）服务与Oracle耦合得太深，QlikView的数据处理过于依赖编码且数据流的调度与管理又较为松散，所以都难言具备独立的ETL框架。

• 论数据存储的能力。Teradata作为权威的Data Warehouse厂商提供了软硬件一体化的产品，在大数据领域的领导地位几乎不可动摇。BW的角色被定位成SAP环境中的OLAP系统，其作用已被局限为SAP环境中的OLTP系统在BI方向的延伸。Essbase和SSAS中的Cube正逐渐被新生技术所淘汰，QVD和TDE颠覆性地用文件对数据进行列式存储，不仅省略了Data Warehouse、Data Mart和Cube的构建，还具有可观的数据压缩比。可是，文件存储的致命弱点在海量数据面前一览无遗。 

• 论数据呈现的能力。Tableau的图表可视化效果出类拔萃，尤其是活用颜色对度量的标识渲染和地图对方位的矢量填充已成为标杆被竞相效仿。QlikView独具一格的联动特性为揭示数据的内在关联，洞察业务的真知灼见增色不少。若追求将数据呈现的控制精细到单元格，BO、Hyperion、Cognos、SSRS灵活的编辑能力和强大的查询语句可支持对图表中任意行列的精准定义。

• 论开发周期。QlikView能直接在内存中完成数据的提取、建模和呈现，相比传统BI需要将数据逐层写入Data Warehouse、Data Mart和Cube，QlikView经历的环节更少，开发的周期更短。Tableau虽然也是基于内存计算，但受限于自身的ETL能力较弱，对高质量的数据源依赖性较强，开发周期将受制于前置工作的进度。

• 论用户体验。精心设计的BI应用都能给到用户美好的体验，若就使用的广度和影响的深度而言，Office具有无可比拟的优势。其中，Excel报表和PPT报告尤为用户喜爱和接受，早已被广泛地应用于企业的事务处理和分析决策。

JDI Global对各类解决方案进行了多方位比较和长时间论证，才得以在统一的技术架构中整合传统BI和新型BI的产品亮点，构造出兼容并包、相辅相成的应用体系。

首先，JDI Global选择Informatica为主要的ETL工具，以数据和技术驱动，自下而上地提取、清洗和一致化RDBMS中的多源异构数据，并装载进Teradata以夯实技术架构的根基Data Warehouse；然后，JDI Great China选择SSIS为辅助的ETL工具，以用户和需求驱动，自上而下地集成、聚合数据，并装载进SQL Server以巩固技术架构的主干Data Mart；最后，用户借助通用的API既能选择Cognos开发模板标准、格式固定的非结构化图表报告，也能选择Tableau开发交互式、结构化的分析性应用程序以雕琢技术架构的枝叶。

除了与Cognos同质的BO、Hyperion、SSRS外，该技术架构还可容纳更多的产品选择。普通用户习惯使用Office进行个性化的探索和报表报告的编制，而精通数理统计的超级用户则偏好使用SPSS和SAS进行专业的数据挖掘和计量分析。特别地，QlikView因其开发周期短，迭代更新快，试错成本低，可跳过Data Warehouse和Data Mart直接链接RDBMS进行概念原型的开发测试，以验证多变化、不明确、难预料的业务需求或用户猜想。

全文完

Saturday BI Fly 线下沙龙活动

相关大数据、数据挖掘与分析文章

Friday BI Fly 微信直播内容整理

其它视角

天善智能 www.hellobi.com 是一个专注于商业智能BI、数据分析、数据挖掘和大数据技术的垂直社区平台。

问答社区和在线学院是国内最大的商业智能BI 和大数据领域的技术社区和在线学习平台，技术版块与在线课程已经覆盖 商业智能、数据分析、数据挖掘、大数据、数据仓库、Microsoft BI、Oracle BIEE、IBM Cognos、SAP BO、Kettle、Informatica、DataStage、Halo BI、QlikView、Tableau、Hadoop 等国外主流产品和技术。

线上活动：Friday BI Fly 每周五晚 20:30，技术和行业交流，20余个微信直播群互动交流。

线下活动：Saturday BI Fly 在全国各大城市巡回举办200人-500人规模的大数据沙龙交流活动，每月1-2次。

天善智能积极地推动国产商业智能 BI 和大数据产品与技术在国内的普及与发展。